\chapter{计量经济学的贝叶斯视角}

\section{普通回归的各种先验}
\[ \bm{y}=\bm{X\beta}+\bm{\varepsilon} \]

其中，
\[ var(\bm{\varepsilon})\equiv \begin{pmatrix}
h^{-1}&0&\cdots&0\\
0&h^{-1}&\cdots&0\\
\vdots&\vdots&\ddots&\vdots\\
0&0&0&h^{-1}\\
\end{pmatrix} \]
\subsection{第一种先验}
自然共轭先验往往意味着$ \bm{\beta}|h $是正态分布，$ h $是伽玛分布。
\begin{align*}
h&\sim G(\underline{s}^{-2},\underline{\nu})\\
\bm{\beta}|h&\sim \mathcal{N}(\underline{\bm{\beta}},h^{-1}\underline{\bm{V}})
\end{align*}

这种先验可以直接得到联合分布的后验形式，
\[ \bm{\beta},h|y\sim NG(\overline{\bm{\beta}},\overline{\bm{V}},\overline{s}^{-2},\overline{\nu}) \]
其中，
\begin{align*}
\overline{\bm{V}}&=\frac{1}{\underline{V}^{-1}+\sum x_i^2}\\
\overline{\bm{\beta}}&=\overline{\bm{V}}(\underline{\bm{V}}^{-1}\bm{\underline{\beta}}+\bm{X}'\bm{X}\hat{\bm{\beta}}),\hspace{2em}\text{其中,}\hat{\bm{\beta}} = (\bm{X}'\bm{X})^{-1}\bm{XY}\\
\overline{\nu}&=\underline{\nu}+N\\
\overline{\nu s}^2&=\underline{\nu s}^2+\nu s^2+(\hat{\bm{\beta}}-\underline{\bm{\beta}})'[\underline{\bm{V}}+(\bm{X}'\bm{X})^{-1}]^{-1}(\hat{\bm{\beta}}-\underline{\bm{\beta}})
\end{align*}
其中，$ \nu = N-k, s^2=(\bm{y}-\bm{X}\hat{\bm{\beta}})'(\bm{y}-\bm{X}\hat{\bm{\beta}})/\nu $.

如果喜欢吉布斯抽样，则进一步计算该后验的边缘分布，
\begin{align*}
h&\sim G(\underline{s}^{-2},\overline{\nu})\\
\bm{\beta}|y&\sim t(\overline{\bm{\beta}},\overline{s}^2\overline{\bm{V}},\overline{\nu})
\end{align*}

\subsection{第二种先验}
可以设先验为(注意$ h $和$ \bm{\beta} $是独立的)，
\begin{align*}
h&\sim G(\underline{s}^{-2},\underline{\nu})\\
\bm{\beta}&\sim \mathcal{N}(\underline{\bm{\beta}},h^{-1}\underline{\bm{V}})
\end{align*}
则其后验分布为，
\begin{align*}
\bm{\beta}\sim \mathcal{N}(\overline{\bm{\beta}},\overline{\bm{V}})\\
h|\bm{y},\bm{\beta}\sim G(\overline{s}^{-2},\overline{\nu})
\end{align*}
其中，
\begin{align*}
\overline{\bm{V}}&=(\underline{V}^{-1}+h\bm{X}'\bm{X})^{-1}\\
\overline{\bm{\beta}}&=\overline{\bm{V}}(\underline{\bm{V}}^{-1}\underline{\bm{\beta}}+h\bm{X}'\bm{y})\\
\overline{\nu}&=N+\underline{\nu}\\
\overline{s}^2&= \frac{(\bm{y}-\bm{X\beta})'(\bm{y}-\bm{X\beta})+\underline{\nu s}^2}{\overline{\nu}}
\end{align*}

这种形式的普通线性回归可以调用\verb|MCMCpack::MCMCregress|进行贝叶斯估计。
\section{BVAR}
\subsection{理论模型}
对于一个包含$ k=3 $个变量的VAR模型，

\[ \bm{z}_t=\bm{\phi}_0+\bm{\phi}_1\bm{z}_{t-1}+\cdots+\bm{\phi}_p\bm{z}_{t-p}+\bm{a}_t ,\;\;\; t=p+1,\cdots,T\]

可将第二、三个子方程按列往第一个子方程右边依次堆叠，得到，
\[ \begin{pmatrix}
z_{p+1,1} & z_{p+1,2}&z_{p+1,3}\\
z_{p+2,1} & z_{p+2,2}&z_{p+2,3}\\
\vdots&\vdots&\vdots\\
z_{T,1} & z_{T,2}&z_{T,3}\\
\end{pmatrix}=\begin{pmatrix}
1&z_{p,1}& z_{p,2}&z_{p,3}&\cdots&z_{1,1}& z_{1,2}&z_{1,3}\\
1&z_{p+1,1}& z_{p+1,2}&z_{p+1,3}&\cdots&z_{2,1}& z_{2,2}&z_{2,3}\\
\vdots&\vdots&\vdots&\vdots&\vdots&\vdots&\vdots&\vdots\\
1&z_{T-1,1}& z_{T-1,2}&z_{T-1,3}&\cdots&z_{T-p,1}& z_{T-p,2}&z_{T-p,3}\\
\end{pmatrix}_{(T-p)\times (kp+1)}\begin{pmatrix}
\bm{\phi}_0\\ \bm{\phi}_1\\\vdots\\ \bm{\phi}_p
\end{pmatrix}_{(kp+1)\times k}+\begin{pmatrix}
a_{p+1,1} & a_{p+1,2}&a_{p+1,3}\\
a_{p+2,1} & a_{p+2,2}&a_{p+2,3}\\
\vdots&\vdots&\vdots\\
a_{T,1} & a_{T,2}&a_{T,3}\\
\end{pmatrix}
 \]

或简单地写作，
\[ \bm{Z}=\bm{X\beta}+\bm{A} \]

将上式拉直则为，
\[ vec(\bm{Z})=(\bm{I}_k\otimes \bm{X})vec(\bm{\beta})+vec(\bm{A}) \]

对于这样一个VAR，可以设定其共轭先验为，
\begin{align}
\bm{\Sigma}_a&\sim W^{-1}(\bm{V}_0,n_0)\\\label{beta}
vec(\bm{\beta})&\sim\mathcal{N}(vec(\bm{\beta}_0),\bm{\Sigma}_a\otimes \bm{C}^{-1})
\end{align}

其中，$ \bm{V}_0,n_0,\bm{\beta}_0,\bm{C} $都是先验设定的超参数，其维数分别为$ k\times k, 1\times 1,(kp+1)\times k,(kp+1)\times (kp+1) $。可以看到，$ \bm{C} $控制的是先验均值$ \bm{\beta}_0 $的精度。此时，其后验分布为(结论的证明见Tsay, 2014)，
\begin{align*}
\bm{\Sigma}_a|\bm{Z},\bm{X}&\sim W^{-1}(\bm{V}_0+\bar{\bm{S}},n_0+n)\\
vec(\bm{\beta})|\bm{Z},\bm{X},\bm{\Sigma}_a&\sim \mathcal{N}[vec(\bar{\bm{\beta}}),\bm{\Sigma}_a\otimes (\bm{X}'\bm{X}+\bm{C})^{-1}]
\end{align*}
其中，
\begin{align*}
n&=T-p\\
\bar{\bm{\beta}}&=(\bm{X}'\bm{X}+\bm{C})^{-1}(\bm{X}'\bm{X}\hat{\bm{\beta}}+\bm{C}\bm{\beta}_0)\\
\bar{\bm{S}}&=(\bm{Z}-\bm{X}\bar{\bm{\beta}})'(\bm{Z}-\bm{X}\bar{\bm{\beta}}) + (\bar{\bm{\beta}}-\bm{\beta}_0)'\bm{C}(\bar{\bm{\beta}}-\bm{\beta}_0)
\end{align*}

可以看到，$ \bm{X}'\bm{X} $控制的是估计的$ \hat{\bm{\beta}} $的精度。一般地，
\begin{itemize}
	\item 对于扩散先验（(Diffusion)或者乏信息先验，一般设定$ \bm{\beta}_0=0,n_0=0,\bm{V}_0=0,\bm{C}=0 $。
	\item 对于Minnesota先验，一般认为$ \bm{\beta} $的先验是多元正态分布，且均值为0，方差协方差矩阵为对角阵。这就意味着\eqref{beta}式中的$ \bm{\Sigma}_a\otimes \bm{C}^{-1} $可用对角阵$ \bm{V} $替代，具体对于其对角阵上的元素，即每个系数方差的先验可以设定为，
\[Var(\bm{\phi})_{p,ij}	=\begin{cases}
		(\lambda/p)^2\hspace{6.5em}i=j\\
		(\lambda\theta/p)^2\cdot (\sigma_{ii}/\sigma_{jj})\hspace{2em} i\ne j
	\end{cases}
\]	
其中，$ \lambda $是实数，$ 0<\theta<1,\sigma_{ii} $是$ \bm{\Sigma}_a $的第($ i,i $)个元素，$ \lambda,\theta $是主观选择的参数。
\end{itemize}
\subsection{实现}


\section{FAVAR}
假设大的信息时间序列$ \bm{X}_t $与不可观测因子$ \bm{F}_t $和可观测变量$ \bm{Y}_t $按如下形式建模，
\[ \bm{X}_t=\bm{\Lambda}^f\bm{F}_t+\bm{\Lambda}^y\bm{Y}_t+e_t \]

这个式子用贝叶斯估计得到(Koop, 2003)。回归系数的先验设定为正态先验，方差为伽玛分布，即
\begin{align*}
\beta 
\end{align*}

